베이지안 선형 회귀
이전에 우리는 최대 우도 추정이나 MAP 추정 등을 통해 모델 매개변수 $\boldsymbol{\theta}$ 를 추정하는 선형 회귀 모델을 살펴보았다. 우리는 MLE가 특히 데이터가 적은 체제에서 심각한 과적합을 유발할 수 있음을 발견했다. MAP는 매개변수에 정규화기 역할을 하는 사전 분포를 부여하여 이 문제를 다룬다.
$\quad$ 베이지안 선형 회귀는 매개변수 사전 분포의 아이디어를 한 단계 더 발전시켜, 매개변수의 점 추정치를 계산하려는 시도조차 하지 않고, 대신 예측을 수행할 때 매개변수에 대한 전체 사후 분포를 고려한다. 이는 우리가 어떠한 매개변수도 적합시키지 않고, 타당한 모든 매개변수 설정에 걸쳐 (사후 분포에 따라) 평균을 계산함을 의미한다.
“어떠한 매개변수도 적합시키지 않고, 모든 매개변수 설정에 걸쳐 계산한다”는 것은 단일 매개변수 값 $\boldsymbol{\theta}^{*}$ 를 도출하는게 아닌, 모든 가능한 $\boldsymbol{\theta}$ 에 대해 우도를 적분한다는 것이다.
9.3.1 Model
베이지안 선형 회귀에서 우리는 다음 모델을 고려한다.
여기서 우리는 이제 명시적으로 $\boldsymbol{\theta}$ 에 가우시안 사전 분포 $p(\boldsymbol{\theta}) = \mathcal{N}(\boldsymbol{m}_0, \boldsymbol{S}_0)$ 를 부여하며, 이는 매개변수 벡터를 확률 변수로 변환한다. 이를 통해 그림 9.8의 해당 그래픽 모델을 작성할 수 있으며, 여기서 $\boldsymbol{\theta}$ 에 대한 가우시안 사전 분포의 매개변수를 명시적으로 나타냈다.
$\to$ $\boldsymbol{x}$ 대신 $\boldsymbol{\phi}(\boldsymbol{x})$ 를 적은 이유는 단순 선형( $x$ 에 대한)뿐만 아니라, 모든 비선형 모델( $x$ 에 대한)에 대해 일반화하기 위함이다.
그림 9.8 베이지안 선형 회귀를 위한 그래픽 모델.
전체 확률적 모델, 즉 관측된 확률 변수 $y$ 와 관측되지 않은 확률 변수 $\boldsymbol{\theta}$ 의 결합 분포는 다음과 같다.
$\to$ 우도 $p(y \mid \boldsymbol{x}, \boldsymbol{\theta})$ 와 결합 확률 $p(y, \boldsymbol{\theta} \mid \boldsymbol{x})$ 의 차이를 생각해보자.
$p(y \mid \boldsymbol{x}, \boldsymbol{\theta})$ 는 $\boldsymbol{\theta}$ 가 주어졌을 때(가정, 고정) 결과 $y$ 가 나올 확률이다. 여기서 불확실한 변수는 $y$ 뿐이다.
$p(y, \boldsymbol{\theta} \mid \boldsymbol{x})$ 는 어떤 데이터 $\boldsymbol{x}$ 가 관측되었을 때, $\boldsymbol{\theta}$ 와 $y$ 가 동시에 발생할 확률이다. 여기서는 $\boldsymbol{\theta}$ 도 불확실하고, $y$ 도 불확실하다.
9.3.2 Prior Predictions
사전 예측
실제로는 매개변수 값 $\boldsymbol{\theta}$ 자체에는 큰 관심이 없는 경우가 많다. 대신, 우리의 초점은 종종 그 매개변수 값들을 사용하여 수행하는 예측에 맞춰진다. 베이지안 설정에서는 예측을 수행할 때 매개변수 분포를 취하고 타당한 모든 매개변수 설정에 대해 평균을 낸다. 더 구체적으로, 입력 $\boldsymbol{x}_*$ 에서 예측을 수행하기 위해 $\boldsymbol{\theta}$ 에 대해 적분하여(integrate out) 다음을 얻는다.
이는 사전 분포 $p(\boldsymbol{\theta})$ 에 따른 타당한 모든 매개변수 $\boldsymbol{\theta}$ 에 대한 $y_* \mid \boldsymbol{x}_*, \boldsymbol{\theta}$ 의 평균 예측으로 해석할 수 있다. 사전 분포를 사용한 예측은 입력 $\boldsymbol{x}_*$ 만 명시하면 될 뿐, 훈련 데이터는 요구하지 않음에 유의한다.
$\to$ 식 9.37은 초기 가정한 사전 분포 $p(\boldsymbol{\theta})$ 에 대해 예측 데이터를 넣음으로써 평가하는 것을 뜻한다. 가령, 나이가 20살( $x_* = 20$ )인 사람이 있다면, 사전의 가정한 $p(\boldsymbol{\theta})$ 가 얼마나 상식적인 예측(대충 키가 170이고, 오차는 +-20정도)을 해석하는 것이다.
$\to$ 사전 예측을 통해 prior을 수정하는 것은 편향을 불러올 수 있다.
$\quad$ 우리의 모델 (9.35)에서 $\boldsymbol{\theta}$ 에 대해 켤레(가우시안) 사전 분포를 선택했으므로 예측 분포 역시 가우시안이다 (그리고 닫힌 형태로 계산할 수 있다). 사전 분포 $p(\boldsymbol{\theta}) = \mathcal{N}(\boldsymbol{m}_0, \boldsymbol{S}_0)$ 를 사용하면, 다음과 같은 예측 분포를 얻는다.
여기서 다음 사항들을 활용했다. (i) 켤레성(6.6절 참조)과 가우시안의 주변화 속성(6.5절 참조)으로 인해 예측이 가우시안이다. (ii) 가우시안 노이즈가 독립적이므로 다음이 성립한다.
(iii) $y_*$ 는 $\boldsymbol{\theta}$ 의 선형 변환이므로, 각각 (6.50)과 (6.51)을 사용하여 예측의 평균과 공분산을 해석적으로 계산하는 규칙을 적용할 수 있다. (9.38)에서 예측 분산 내의 $\boldsymbol{\phi}^\top(\boldsymbol{x}_*)\boldsymbol{S}_0\boldsymbol{\phi}(\boldsymbol{x}_*)$ 항은 매개변수 $\boldsymbol{\theta}$ 와 관련된 불확실성을 명시적으로 설명하는 반면, $\sigma^2$ 은 측정 노이즈로 인한 불확실성 기여분이다.
$\quad$ 노이즈가 섞인 타깃 $y_*$ 대신 노이즈가 없는 함수 값 $f(\boldsymbol{x}_*) = \boldsymbol{\phi}^\top(\boldsymbol{x}_*)\boldsymbol{\theta}$ 를 예측하는 데 관심이 있다면 다음을 얻는다.
이는 예측 분산에서 노이즈 분산 $\sigma^2$ 이 생략되었다는 점만 (9.38)과 다르다.
Remark (함수들에 대한 분포). 샘플들의 집합 $\boldsymbol{\theta}_i$ 를 사용하여 분포 $p(\boldsymbol{\theta})$ 를 표현할 수 있고 각 샘플 $\boldsymbol{\theta}_i$ 가 함수 $f_i(\cdot) = \boldsymbol{\theta}_i^\top\boldsymbol{\phi}(\cdot)$ 를 발생시키므로, 결과적으로 매개변수 분포 $p(\boldsymbol{\theta})$ 는 함수들에 대한 분포 $p(f(\cdot))$ 를 유도한다. 여기서 함수 관계를 명시적으로 나타내기 위해 $(\cdot)$ 표기법을 사용한다.
매개변수 분포 $p(\boldsymbol{\theta})$ 는 함수들에 대한 분포를 유도한다.
$f(x)$ 는 확률 변수 $\boldsymbol{\theta}$ 에 상수 특성 벡터 $\boldsymbol{\phi}^\top(x)$ 를 곱한 선형 결합이다. 확률 변수의 선형 결합 결과는 확률 변수이다.
예제 9.7 (함수들에 대한 사전 분포)
$\quad$ 5차 다항식을 사용하는 베이지안 선형 회귀 문제를 고려하자. 우리는 매개변수 사전 분포를 $p(\boldsymbol{\theta}) = \mathcal{N}(\boldsymbol{0}, \frac{1}{4}\boldsymbol{I})$ 로 선택한다(공분산행렬이 대각행렬인 것은, 각 변수( $\theta_0,…, \theta_5$ )가 서로 상호 독립이라는 뜻이다).
그림 9.9 함수들에 대한 사전 분포. (a) 평균 함수(검은색 선)와 각각 67% 및 95% 신뢰 구간(confidence bounds)을 나타내는 주변 불확실성(marginal uncertainties, 음영)으로 표현된 함수들에 대한 분포; (b) 매개변수 사전 분포로부터의 샘플들에 의해 유도된, 함수들에 대한 사전 분포로부터의 샘플들.
그림 9.9는 이 매개변수 사전 분포에 의해 유도된 함수들에 대한 사전 분포(음영 영역: 진한 회색은 67% 신뢰 구간, 연한 회색은 95% 신뢰 구간)와 이 사전 분포로부터 추출된 일부 함수 샘플들을 시각화한다.
$\quad$ 함수 샘플은 먼저 매개변수 벡터 $\boldsymbol{\theta}_i \sim p(\boldsymbol{\theta})$ 를 샘플링한 다음 $f_i(\cdot) = \boldsymbol{\theta}_i^\top\boldsymbol{\phi}(\cdot)$ 를 계산하여 얻는다. 우리는 특성 함수 $\boldsymbol{\phi}(\cdot)$ 를 적용할 200개의 입력 위치 $x_* \in [-5, 5]$ 를 사용했다. 그림 9.9의 불확실성(음영 영역으로 표시됨)은 노이즈가 없는 예측 분포 (9.40)을 고려했기 때문에 오직 매개변수 불확실성에 기인한다.
예제 9.7을 단순 변형하여 정리해보았다.
매개변수가 확률 변수이므로 유한한 분산을 가진다. 따라서 모델또한 불확실한 확률 변수이므로 분산에 따른 신뢰구간을 가진다.
$\quad$ 지금까지 매개변수 사전 분포 $p(\boldsymbol{\theta})$ 를 사용하여 예측을 계산하는 방법을 살펴보았다. 그러나 매개변수 사후 분포(훈련 데이터 $\mathcal{X}, \mathcal{Y}$ 가 주어졌을 때)를 가지는 경우, (9.37)에서와 동일한 예측 및 추론 원리가 성립한다. 단지 사전 분포 $p(\boldsymbol{\theta})$ 를 사후 분포 $p(\boldsymbol{\theta} \mid \mathcal{X}, \mathcal{Y})$ 로 대체하기만 하면 된다. 다음에서는 예측을 수행하는 데 사용하기 전에 사후 분포를 상세히 유도할 것이다.
9.3.3 Posterior Distribution
사후 분포
훈련 입력 집합 $\boldsymbol{x}_n \in \mathbb{R}^D$ 와 해당 관측치 $y_n \in \mathbb{R}, n=1,\dots,N$ 이 주어졌을 때, 베이즈 정리를 사용하여 매개변수에 대한 사후 분포를 다음과 같이 계산한다.
여기서 $\mathcal{X}$ 는 훈련 입력들의 집합이고 $\mathcal{Y}$ 는 해당 훈련 타깃들의 집합이다. 또한 $p(\mathcal{Y} \mid \mathcal{X}, \boldsymbol{\theta})$ 는 우도(likelihood)이며, $p(\boldsymbol{\theta})$ 는 매개변수 사전 분포이다. 그리고
는 주변 우도(marginal likelihood) 또는 증거(evidence)이다. 이는 매개변수 $\boldsymbol{\theta}$ 와 독립적이며 사후 분포가 정규화되도록(즉, 적분값이 1이 되도록) 보장한다. 주변 우도는 가능한 모든 매개변수 설정에 대해 평균을 낸 우도라고 생각할 수 있다 (사전 분포 $p(\boldsymbol{\theta})$ 를 기준으로 함).
주변 우도는 매개변수 사전 분포 하에서 계산된 우도의 기댓값이다.
우도와 사전확률을 왜 주변 우도로 나눠 확률 분포로써 해석하려고 하는가?
$\to$ 사후 분포 $p(\boldsymbol{\theta} \mid \mathcal{X}, \mathcal{Y})$ 는 사전 분포 $p(\boldsymbol{\theta})$ 와 우도 $p(\mathcal{Y} \mid \mathcal{X}, \boldsymbol{\theta})$ 에 비례한다. 두 분포가 가우시안이므로, 로그 사후 확률 $\ln p(\boldsymbol{\theta} \mid \mathcal{X}, \mathcal{Y})$ 의 지수항은 두 가우시안 지수항의 합으로 표현된다.
( $C$ 는 $\boldsymbol{\theta}$ 와 무관한 상수)
사후 공분산 $\boldsymbol{S}_N$ 을 구하기 위해 위의 전개식에서 $\boldsymbol{\theta}$ 에 대한 2차항( $\boldsymbol{\theta}^\top [ \dots ] \boldsymbol{\theta}$ )만을 분리한다.
사전 분포 지수항에서의 2차항: $-\frac{1}{2} \boldsymbol{\theta}^\top \boldsymbol{S}_0^{-1} \boldsymbol{\theta}$
우도 지수항에서의 2차항: $-\frac{1}{2\sigma^2} (\boldsymbol{\Phi}\boldsymbol{\theta})^\top (\boldsymbol{\Phi}\boldsymbol{\theta}) = -\frac{1}{2} \boldsymbol{\theta}^\top (\sigma^{-2}\boldsymbol{\Phi}^\top\boldsymbol{\Phi}) \boldsymbol{\theta}$
두 2차항을 더하여 묶으면 다음과 같다.
목표 사후 분포 $\mathcal{N}(\boldsymbol{\theta} \mid \boldsymbol{m}_N, \boldsymbol{S}_N)$ 의 지수항을 전개했을 때 나타나는 2차항의 표준 형태는 다음과 같다.
이 표준 형태의 2차항 계수 행렬 $\boldsymbol{S}_N^{-1}$ 과 2단계에서 유도한 2차항 계수 행렬을 비교하면 아래 등식이 성립한다.
양변에 역행렬을 취하여 식 (9.43b)를 유도할 수 있다.
$\to$ 사후 분포의 평균( $\boldsymbol{m}_N$ , 9.43c)을 찾는 것도 동일하다. 사후 분포 $\mathcal{N}(\boldsymbol{\theta} \mid \boldsymbol{m}_N, \boldsymbol{S}_N)$ 의 지수항을 전개하여 $\boldsymbol{\theta}$ 에 대한 1차항을 구하면 다음과 같다.
두 항은 스칼라이므로 동일하다. 둘 중 $\boldsymbol{\theta}^\top \boldsymbol{S}_N^{-1} \boldsymbol{m}_N$ 꼴을 prior과 우도에서 찾아 더하면 된다.
사전 분포의 1차항( $\boldsymbol{\theta}$ 에 대한): $\boldsymbol{\theta}^\top \boldsymbol{S}_0^{-1} \boldsymbol{m}_0$
우도의 1차항: $\sigma^{-2} \boldsymbol{\theta}^\top \boldsymbol{\Phi}^\top \boldsymbol{y}$
지수항 $-\frac{1}{2\sigma^2} (\boldsymbol{y} - \boldsymbol{\Phi}\boldsymbol{\theta})^\top (\boldsymbol{y} - \boldsymbol{\Phi}\boldsymbol{\theta})$ 를 전개하면 1차항은 $-\boldsymbol{y}^\top \boldsymbol{\Phi} \boldsymbol{\theta} - \boldsymbol{\theta}^\top \boldsymbol{\Phi}^\top \boldsymbol{y}$ 이다. 이또한 스칼라이다.
사전 분포와 우도의 1차항을 더하면 다음과 같다.
사후 분포와 위 식(prior과 우도의 1차항의 합)은 같기 때문에
양변의 왼쪽에 사후 공분산 $\boldsymbol{S}_N$ 을 곱해주어 식 (9.43c)를 유도할 수 있다.
정리 9.1 (매개변수 사후 분포). 우리의 모델 (9.35)에서 매개변수 사후 분포 (9.41)은 다음과 같은 닫힌 형태(closed form)로 계산될 수 있다.
여기서 하첨자 $N$ 은 훈련 집합의 크기를 나타낸다.
증명 (Proof) 베이즈 정리에 따르면 사후 분포 $p(\boldsymbol{\theta} \mid \mathcal{X}, \mathcal{Y})$ 는 우도 $p(\mathcal{Y} \mid \mathcal{X}, \boldsymbol{\theta})$ 와 사전 분포 $p(\boldsymbol{\theta})$ 의 곱에 비례한다.
_ $\to$ 식 9.44b, 9.44c에 가우시안 분포 표기 $\mathcal{N}(\cdot \mid \cdot, \cdot)$ 에서 수직선(|)은 확률 변수(domain)와 분포의 모수(parameters)를 분리하는 선이다. 식 (9.44b)의 의미는 매개변수 $\boldsymbol{\theta}$ 가 주어졌을 때, 타깃 변수 $\mathbf{y}$ 가 예측값 $\boldsymbol{\Phi}\boldsymbol{\theta}$ 를 중심으로 반경 $\sigma^2 \mathbf{I}$ 내에 분포할 확률 밀도를 나타낸다. 식 (9.44c)는 하이퍼파라미터 $\mathbf{m}_0$ 와 $\mathbf{S}_0$ 가 고정된 조건하에서, 미지의 가중치 $\boldsymbol{\theta}$ 가 위치할 확률 밀도를 나타낸다._
$\quad$ 사전 분포와 우도의 곱을 직접 다루는 대신, 로그 공간(log-space)으로 문제를 변환한 뒤 완전제곱꼴 만들기(completing the squares)를 통해 사후 분포의 평균과 공분산을 구할 수 있다.
$\quad$ 로그 사전 분포와 로그 우도의 합은 다음과 같다.
여기서 상수는 $\boldsymbol{\theta}$ 와 독립적인 항들을 포함한다. 이후 과정에서는 이 상수를 무시한다. 이제 (9.45b)를 전개하여 인수분해하면 다음을 얻는다.
(9.46a)에서 검은색 항들은 $\boldsymbol{\theta}$ 와 독립적이므로 상수에 포함된다. 주황색 항들은 $\boldsymbol{\theta}$ 에 대해 선형(linear)인 항들이고, 파란색 항들은 $\boldsymbol{\theta}$ 에 대해 이차(quadratic)인 항들이다. (9.46b)를 검토해보면 이 방정식이 $\boldsymbol{\theta}$ 에 대한 이차식임을 알 수 있다. 정규화되지 않은 로그 사후 분포가 (음의) 이차 형식이라는 사실(음의 이차형식이라는 것은 지수함수로 되돌렸을 때 중심에서 최댓값을 가지고 양극단으로 갈 수록 0으로 수렴하는 종 모양의 밀도 함수임을 뜻한다.)은 사후 분포가 가우시안임을 의미한다. 즉,
마지막 수식에서 (9.46b)를 사용했다.
$\quad$ 남은 과제는 이 (정규화되지 않은) 가우시안을 $\mathcal{N}(\boldsymbol{\theta} \mid \boldsymbol{m}_N, \boldsymbol{S}_N)$ 에 비례하는 형태로 변환하는 것이다. 즉, 평균 $\boldsymbol{m}_N$ 과 공분산 행렬 $\boldsymbol{S}_N$ 을 식별해야 한다. 이를 위해 완전제곱꼴 만들기의 개념을 사용한다. 목표로 하는 로그 사후 분포의 형태는 다음과 같다.
_ $p(\boldsymbol{\theta} \mid \mathcal{X}, \mathcal{Y}) = \mathcal{N}(\boldsymbol{m}_N, \boldsymbol{S}_N)$ 이므로, 최대 사후 확률 추정치 $\boldsymbol{\theta}_{\text{MAP}} = \boldsymbol{m}_N$ 이 성립한다._
여기서 우리는 이차 형식 $(\boldsymbol{\theta} - \boldsymbol{m}_N)^\top\boldsymbol{S}_N^{-1}(\boldsymbol{\theta} - \boldsymbol{m}_N)$ 을 오직 $\boldsymbol{\theta}$ 에 대한 이차항(파란색), $\boldsymbol{\theta}$ 에 대한 선형항(주황색), 그리고 상수항(검은색)으로 인수분해했다. 이제 (9.46b)와 (9.48b)의 동일한 색상 표현식들을 일치시킴으로써 $\boldsymbol{S}_N$ 과 $\boldsymbol{m}_N$ 을 찾을 수 있다. 이차항을 일치시키면 다음을 얻는다.
선형항을 일치시키면 다음을 얻는다.
(증명 끝)
$\to$ MAP 추정치 $\boldsymbol{\theta}_{\text{MAP}}$ 와 사후 확률의 평균 $\boldsymbol{m}_N$ 이 같다는 것은 무엇을 의미할까?
최대화하려는 목적을 생각해보자. MAP추정치는 (로그)사후 확률 밀도 함수를 최대화하는 파라미터 $\boldsymbol{\theta}$ 를 찾는 문제이다.
이때 $\boldsymbol{\theta}$ 와 무관한 상수항을 제외한 목적 함수 $J(\boldsymbol{\theta})$ 는 다음과 같다.
목적 함수 $J(\boldsymbol{\theta})$ 가 최대가 되는 지점을 찾기 위해, $\boldsymbol{\theta}$ 에 대한 1차 편미분(Gradient)을 구하고 이를 영벡터( $\mathbf{0}$ )로 놓는다. 이차 형식 행렬 $\boldsymbol{S}_N^{-1}$ 은 대칭 행렬이므로 미분 공식 $\nabla_{\boldsymbol{x}} (\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x}) = 2\boldsymbol{A}\boldsymbol{x}$ 가 적용된다.
위 방정식 $-\boldsymbol{S}_N^{-1} (\boldsymbol{\theta} - \boldsymbol{m}_N) = \mathbf{0}$ 에서, $\boldsymbol{S}_N^{-1}$ 은 정밀도 행렬로서 양의 정부호(Positive Definite) 행렬이다.
양의 정부호 행렬은 가역행렬이므로 영공간이 오직 영벡터뿐이다. 따라서 행렬 $\boldsymbol{S}_N^{-1}$ 을 어떤 벡터에 곱해서 영벡터가 나오기 위한 유일한 필요충분조건은, 곱해지는 벡터 $(\boldsymbol{\theta} - \boldsymbol{m}_N)$ 자체가 영벡터가 되는 것이다.
구한 임계점 $\boldsymbol{\theta} = \boldsymbol{m}_N$ 이 국소적 최솟값(Local Minimum)이나 안장점(Saddle Point)이 아닌 전역적 최댓값임을 보이기 위해 2차 도함수(헤시안 행렬)를 확인한다.
정밀도 행렬 $\boldsymbol{S}_N^{-1}$ 이 양의 정부호이므로, 그에 음수 부호가 붙은 헤시안 행렬 $-\boldsymbol{S}_N^{-1}$ 은 음의 정부호(Negative Definite) 행렬이다. 헤시안 행렬이 음의 정부호이면 해당 임계점에서의 함수값은 위로 볼록한 전역적 최댓값을 가진다.
결론적으로 로그 사후 확률 함수를 최대화하는 유일한 파라미터 극점은 $\boldsymbol{m}_N$ 이며, 이 극점은 전역적 최댓값이다. 따라서 $\boldsymbol{\theta}_{\text{MAP}} = \boldsymbol{m}_N$ 가 성립한다.
공분산 행렬( $\boldsymbol{\Sigma}$ )이 대칭행렬이므로, 그의 역행렬인 정밀도 행렬( $\boldsymbol{\Lambda} := \boldsymbol{\Sigma}^{-1}$ )또한 대칭 행렬이다. 증명은 다음과 같다.
정밀도 행렬이 대칭 행렬인지 확인하기 위해 전치 연산을 적용한다.
역행렬의 전치는 전치의 역행렬과 동일하므로 $( (\boldsymbol{A}^{-1})^\top = (\boldsymbol{A}^\top)^{-1} )$
이때 우변은 정밀도 행렬이다.
따라서 정밀도 행렬 역시 대칭 행렬이다.
Remark (완전제곱꼴 만들기에 대한 일반적 접근법) 만약 대칭 행렬(symmetric)이고 양의 정부호(positive definite)인 $\boldsymbol{A}$ 를 가지는 다음과 같은 방정식이 주어졌을 때,
이를 다음 형태로 변환하고자 한다면,
다음과 같이 설정하여 이를 수행할 수 있다.
그리고 $\text{const}_2 = \text{const}_1 - \boldsymbol{\mu}^\top\boldsymbol{\Sigma}\boldsymbol{\mu}$ 이다.
식 (9.52)를 전개하여 다음을 얻는다.
이를 식 9.51과 비교했을 때 식 (9.53), (9.54), 상수항이 증명된다.
$\quad$ (9.47b)의 지수 안의 항들이 다음과 같이 정의될 때 (9.51)의 형태를 가짐을 알 수 있다.
(9.46a)와 같은 방정식에서는 $\boldsymbol{A}$ 와 $\boldsymbol{a}$ 를 식별하기 어려울 수 있으므로, 원하는 해를 찾는 과정을 단순화하기 위해 이차항, 선형항, 상수항을 분리하는 (9.51)의 형태로 식을 정리하는 것이 유용하다.
9.3.4 Posterior Predictions
사후 예측
(9.37)에서 테스트 입력 $\boldsymbol{x}_*$ 에서의 $y_*$ 의 예측 분포를 파라미터 사전 분포 $p(\boldsymbol{\theta})$ 를 사용하여 계산했다. 원리적으로 켤레 모델에서 사전 분포와 사후 분포가 모두 가우시안(파라미터는 다름)이라는 점을 고려할 때 파라미터 사후 분포 $p(\boldsymbol{\theta} \mid \mathcal{X}, \mathcal{Y})$ 로 예측하는 것은 근본적으로 다르지 않다. 따라서 9.3.2절과 동일한 논리를 따르면 다음의 (사후) 예측 분포를 얻는다.
항 $\boldsymbol{\phi}^\top(\boldsymbol{x}_*)\boldsymbol{S}_N\boldsymbol{\phi}(\boldsymbol{x}_*)$ 는 파라미터 $\boldsymbol{\theta}$ 와 관련된 사후 불확실성을 반영한다. $\boldsymbol{S}_N$ 은 $\boldsymbol{\Phi}$ 를 통해 훈련 입력에 의존한다는 점에 유의한다(식 9.43b 참고). 예측 평균 $\boldsymbol{\phi}^\top(\boldsymbol{x}_*)\boldsymbol{m}_N$ 은 MAP 추정치 $\boldsymbol{\theta}_{\text{MAP}}$ 로 만든 예측과 일치한다.
Remark (주변 우도와 사후 예측 분포). (9.57a)의 적분을 대체하여 예측 분포를 기댓값 $\mathbb{E}_{\boldsymbol{\theta} \mid \mathcal{X}, \mathcal{Y}}[p(y_* \mid \boldsymbol{x}_*, \boldsymbol{\theta})]$ 로 동등하게 작성할 수 있으며, 여기서 기댓값은 파라미터 사후 분포 $p(\boldsymbol{\theta} \mid \mathcal{X}, \mathcal{Y})$ 에 대해 취해진다.
$\quad$ 사후 예측 분포를 이런 방식으로 작성하면 주변 우도(9.42)와의 밀접한 유사성이 강조된다. 주변 우도와 사후 예측 분포 간의 주요 차이점은 (i) 주변 우도는 테스트 타깃 $y_*$ 가 아닌 훈련 타깃 $\boldsymbol{y}$ 를 예측하는 것으로 간주될 수 있으며, (ii) 주변 우도는 파라미터 사후 분포가 아닌 파라미터 사전 분포에 대해 평균을 낸다는 것이다.
Remark (노이즈 없는 함수 값의 평균과 분산). 많은 경우 (노이즈가 있는) 관측치 $y_*$ 의 예측 분포 $p(y_* \mid \mathcal{X}, \mathcal{Y}, \boldsymbol{x}_*)$ 에는 관심이 없다. 대신 (노이즈 없는) 함수 값 $f(\boldsymbol{x}_*) = \boldsymbol{\phi}^\top(\boldsymbol{x}_*)\boldsymbol{\theta}$ 의 분포를 얻고자 한다. 평균과 분산의 속성을 활용하여 해당 적률을 결정하며 이는 다음을 산출한다.
노이즈의 평균이 0이므로 예측 평균이 노이즈가 있는 관측치의 예측 평균과 동일함을 알 수 있다. 예측 분산은 측정 노이즈의 분산인 $\sigma^2$ 만큼만 다르다. 노이즈가 있는 함수 값을 예측할 때는 불확실성의 원인으로 $\sigma^2$ 를 포함해야 하지만, 노이즈 없는 예측에는 이 항이 필요하지 않다. 여기서 남은 유일한 불확실성은 파라미터 사후 분포에서 비롯된다.
Remark (함수에 대한 분포). 파라미터 $\boldsymbol{\theta}$ 를 적분하여 없애는 것은 함수에 대한 분포를 유도한다. 파라미터 사후 분포에서 $\boldsymbol{\theta}_i \sim p(\boldsymbol{\theta} \mid \mathcal{X}, \mathcal{Y})$ 를 샘플링하면 단일 함수 실현 $\boldsymbol{\theta}_i^\top\boldsymbol{\phi}(\cdot)$ 를 얻는다. 이 함수에 대한 분포의 평균 함수, 즉 모든 예상 함수 값 $\mathbb{E}_{\boldsymbol{\theta}}[f(\cdot) \mid \boldsymbol{\theta}, \mathcal{X}, \mathcal{Y}]$ 의 집합은 $\boldsymbol{m}_N^\top\boldsymbol{\phi}(\cdot)$ 이다. (한계) 분산, 즉 함수 $f(\cdot)$ 의 분산은 $\boldsymbol{\phi}^\top(\cdot)\boldsymbol{S}_N\boldsymbol{\phi}(\cdot)$ 로 주어진다.
예제 9.8 (함수에 대한 사후 분포)
차수가 5인 다항식을 사용한 베이지안 선형 회귀 문제를 다시 살펴본다. 파라미터 사전 분포 $p(\boldsymbol{\theta}) = \mathcal{N}(\boldsymbol{0}, \frac{1}{4}\boldsymbol{I})$ 를 선택한다.
그림 9.9(위)는 파라미터 사전 분포에 의해 유도된 함수에 대한 사전 분포와 이 사전 분포에서 샘플링한 함수들을 시각화한다.
$\quad$ 그림 9.10은 베이지안 선형 회귀를 통해 얻은 함수에 대한 사후 분포를 보여준다. 훈련 데이터셋은 패널 (a)에 표시되며, 패널 (b)는 최대 우도 및 MAP 추정을 통해 얻을 수 있는 함수를 포함하여 함수에 대한 사후 분포를 보여준다. MAP 추정치를 사용하여 얻은 함수는 베이지안 선형 회귀 설정에서 사후 평균 함수와 일치한다. 패널 (c)는 함수에 대한 해당 사후 분포 하에서 그럴듯한 함수 실현(샘플)들을 보여준다.
$\to$ 그림 (9.10b)에서 파란색 선(MLE)보다 주황색 선(MAP)이 더 완만한 궤적임을 알 수 있다. 또한 회색 음영을 보았을 때 데이터가 밀집된 중앙부에서는 불확실성이 작으나, 데이터가 부재한 영역에서는 폭발적으로 증가함을 확인할 수 있다.
그림 9.11 베이지안 선형 회귀. 왼쪽 패널: 음영 영역은 67%(진한 회색) 및 95%(연한 회색) 예측 신뢰 구간을 나타낸다. 베이지안 선형 회귀 모델의 평균은 MAP 추정치와 일치한다. 예측 불확실성은 노이즈 항과 사후 파라미터 불확실성의 합이며, 이는 테스트 입력의 위치에 의존한다. 오른쪽 패널: 사후 분포에서 샘플링된 함수들.
$\quad$ 그림 9.11은 파라미터 사후 분포에 의해 유도된 함수에 대한 사후 분포들을 보여준다. 서로 다른 다항식 차수 $M$ 에 대해 왼쪽 패널들은 최대 우도 함수 $\boldsymbol{\theta}_{\text{ML}}^\top\boldsymbol{\phi}(\cdot)$ , MAP 함수 $\boldsymbol{\theta}_{\text{MAP}}^\top\boldsymbol{\phi}(\cdot)$ (사후 평균 함수와 동일함), 그리고 베이지안 선형 회귀로 얻은 67% 및 95% 예측 신뢰 구간을 음영 영역으로 보여준다.
$\quad$ 오른쪽 패널들은 함수에 대한 사후 분포로부터의 샘플들을 보여준다. 여기서는 파라미터 사후 분포에서 파라미터 $\boldsymbol{\theta}_i$ 를 샘플링하고 함수 $\boldsymbol{\phi}^\top(\boldsymbol{x}_*)\boldsymbol{\theta}_i$ 를 계산했으며, 이는 함수에 대한 사후 분포 하에서 단일 함수의 실현이다. 저차 다항식의 경우 파라미터 사후 분포가 파라미터의 큰 변동을 허용하지 않으므로 샘플링된 함수들이 거의 동일하다. 더 많은 파라미터를 추가하여 모델을 더 유연하게 만들면(즉, 고차 다항식을 사용하면), 이러한 파라미터들은 사후 분포에 의해 충분히 제약되지 않으며 샘플링된 함수들은 시각적으로 쉽게 분리된다. 또한 왼쪽의 대응되는 패널들에서 특히 경계 부분의 불확실성이 어떻게 증가하는지 확인할 수 있다.
$\quad$ 7차 다항식에 대한 MAP 추정치가 합리적인 적합을 산출함에도 불구하고, 베이지안 선형 회귀 모델은 추가적으로 사후 불확실성이 거대하다는 것을 알려준다. 이 정보는 이러한 예측을 의사 결정 시스템에 사용할 때 중요할 수 있으며, 잘못된 결정이 중대한 결과를 초래할 수 있는 경우(예: 강화 학습 또는 로봇 공학)에 더욱 그러하다.
9.3.5 Computing the Marginal Likelihood
주변 우도 연산
8.6.2절에서 베이지안 모델 선택을 위한 주변 우도의 중요성을 강조했다. 다음에서는 파라미터에 대한 켤레 가우시안 사전 분포를 가지는 베이지안 선형 회귀, 즉 이 장에서 논의해 온 설정에 대한 주변 우도를 계산한다.
$\quad$ 요약하자면 다음의 생성 과정을 고려한다.
$n = 1, \dots, N$ . 주변 우도는 다음과 같이 주어진다.
여기서 모델 파라미터 $\boldsymbol{\theta}$ 를 적분하여 없앤다. 주변 우도를 두 단계로 계산한다. 첫째, 주변 우도가 가우시안( $\boldsymbol{y}$ 에 대한 분포로서)임을 보여준다. 둘째, 이 가우시안의 평균과 공분산을 계산한다.
주변 우도는 사전 분포 하에서의 기대 우도, 즉 $\mathbb{E}_{\boldsymbol{\theta}}[p(\mathcal{Y} \mid \mathcal{X}, \boldsymbol{\theta})]$ 로 해석될 수 있다.
- 주변 우도는 가우시안이다: 6.5.2절로부터 (i) 두 가우시안 확률 변수의 곱은 (정규화되지 않은) 가우시안 분포이며, (ii) 가우시안 확률 변수의 선형 변환은 가우시안 분포를 따른다는 것을 안다. (9.61b)에서 $\mathcal{N}(\boldsymbol{y} \mid \boldsymbol{X}\boldsymbol{\theta}, \sigma^2\boldsymbol{I})$ 를 어떤 $\boldsymbol{\mu}, \boldsymbol{\Sigma}$ 에 대해 $\mathcal{N}(\boldsymbol{\theta} \mid \boldsymbol{\mu}, \boldsymbol{\Sigma})$ 형태로 만들기 위해 선형 변환이 필요하다. 이 작업이 완료되면 적분은 닫힌 형태로 풀 수 있다. 결과는 두 가우시안 곱의 정규화 상수이다. 정규화 상수 자체는 가우시안 형태를 가진다(6.76 참조).
- 평균과 공분산: 확률 변수의 아핀 변환에 대한 평균 및 공분산의 표준 결과를 활용하여 주변 우도의 평균 및 공분산 행렬을 계산한다(6.4.4절 참조). 주변 우도의 평균은 다음과 같이 계산된다.
$\boldsymbol{\epsilon} \sim \mathcal{N}(\boldsymbol{0}, \sigma^2\boldsymbol{I})$ 는 i.i.d. 확률 변수 벡터임에 유의한다. 공분산 행렬은 다음과 같이 주어진다.
따라서 주변 우도는 다음과 같다.
사후 예측 분포와의 밀접한 연관성(이 절의 앞부분에 있는 주변 우도와 사후 예측 분포에 대한 Remark 참조)을 고려할 때, 주변 우도의 함수 형태는 크게 놀라운 것이 아니다.